home *** CD-ROM | disk | FTP | other *** search
/ CD ROM Paradise Collection 4 / CD ROM Paradise Collection 4 1995 Nov.iso / wp / flex251x.zip / FLEX251 / NEWS < prev    next >
Text File  |  1995-03-27  |  43KB  |  1,140 lines
  1. Changes between release 2.5.1 (28Mar95) and release 2.4.7:
  2.  
  3.     - A new concept of "start condition" scope has been introduced.
  4.       A start condition scope is begun with:
  5.  
  6.         <SCs>{
  7.  
  8.       where SCs is a list of one or more start conditions.  Inside
  9.       the start condition scope, every rule automatically has the
  10.       prefix <SCs> applied to it, until a '}' which matches the
  11.       initial '{'.  So, for example:
  12.  
  13.         <ESC>{
  14.             "\\n"    return '\n';
  15.             "\\r"    return '\r';
  16.             "\\f"    return '\f';
  17.             "\\0"    return '\0';
  18.         }
  19.  
  20.       is equivalent to:
  21.  
  22.         <ESC>"\\n"    return '\n';
  23.         <ESC>"\\r"    return '\r';
  24.         <ESC>"\\f"    return '\f';
  25.         <ESC>"\\0"    return '\0';
  26.  
  27.       As indicated in this example, rules inside start condition scopes
  28.       (and any rule, actually, other than the first) can be indented,
  29.       to better show the extent of the scope.
  30.  
  31.       Start condition scopes may be nested.
  32.  
  33.     - The new %option directive can be used in the first section of
  34.       a flex scanner to control scanner-generation options.  Most
  35.       options are given simply as names, optionally preceded by the
  36.       word "no" (with no intervening whitespace) to negate their
  37.       meaning.  Some are equivalent to flex flags, so putting them
  38.       in your scanner source is equivalent to always specifying
  39.       the flag (%option's take precedence over flags):
  40.  
  41.         7bit    -7 option
  42.         8bit    -8 option
  43.         align    -Ca option
  44.         backup    -b option
  45.         batch    -B option
  46.         c++    -+ option
  47.         caseful    opposite of -i option (caseful is the default);
  48.         case-sensitive    same as above
  49.         caseless    -i option;
  50.         case-insensitive    same as above
  51.         debug    -d option
  52.         default    opposite of -s option
  53.         ecs    -Ce option
  54.         fast    -F option
  55.         full    -f option
  56.         interactive    -I option
  57.         lex-compat    -l option
  58.         meta-ecs    -Cm option
  59.         perf-report    -p option
  60.         read    -Cr option
  61.         stdout    -t option
  62.         verbose    -v option
  63.         warn    opposite of -w option (so use "%option nowarn" for -w)
  64.  
  65.         array    equivalent to "%array"
  66.         pointer    equivalent to "%pointer" (default)
  67.  
  68.       Some provide new features:
  69.  
  70.         always-interactive    generate a scanner which always
  71.             considers its input "interactive" (no call to isatty()
  72.             will be made when the scanner runs)
  73.         main    supply a main program for the scanner, which
  74.             simply calls yylex().  Implies %option noyywrap.
  75.         never-interactive    generate a scanner which never
  76.             considers its input "interactive" (no call to isatty()
  77.             will be made when the scanner runs)
  78.         stack    if set, enable start condition stacks (see below)
  79.         stdinit    if unset ("%option nostdinit"), initialize yyin
  80.             and yyout statically to nil FILE* pointers, instead
  81.             of stdin and stdout
  82.         yylineno    if set, keep track of the current line
  83.             number in global yylineno (this option is expensive
  84.             in terms of performance).  The line number is available
  85.             to C++ scanning objects via the new member function
  86.             lineno().
  87.         yywrap    if unset ("%option noyywrap"), scanner does not
  88.             call yywrap() upon EOF but simply assumes there
  89.             are no more files to scan
  90.  
  91.       Flex scans your rule actions to determine whether you use the
  92.       REJECT or yymore features (this is not new).  Two %options can be
  93.       used to override its decision, either by setting them to indicate
  94.       the feature is indeed used, or unsetting them to indicate it
  95.       actually is not used:
  96.  
  97.         reject
  98.         yymore
  99.  
  100.       Three %option's take string-delimited values, offset with '=':
  101.  
  102.         outfile="<name>"    equivalent to -o<name>
  103.         prefix="<name>"        equivalent to -P<name>
  104.         yyclass="<name>"    set the name of the C++ scanning class
  105.                     (see below)
  106.  
  107.       A number of %option's are available for lint purists who
  108.       want to suppress the appearance of unneeded routines in
  109.       the generated scanner.  Each of the following, if unset,
  110.       results in the corresponding routine not appearing in the
  111.       generated scanner:
  112.  
  113.         input, unput
  114.         yy_push_state, yy_pop_state, yy_top_state
  115.         yy_scan_buffer, yy_scan_bytes, yy_scan_string
  116.  
  117.       You can specify multiple options with a single %option directive,
  118.       and multiple directives in the first section of your flex input file.
  119.  
  120.     - The new function:
  121.  
  122.         YY_BUFFER_STATE yy_scan_string( const char *str )
  123.  
  124.       returns a YY_BUFFER_STATE (which also becomes the current input
  125.       buffer) for scanning the given string, which occurs starting
  126.       with the next call to yylex().  The string must be NUL-terminated.
  127.       A related function:
  128.  
  129.         YY_BUFFER_STATE yy_scan_bytes( const char *bytes, int len )
  130.  
  131.       creates a buffer for scanning "len" bytes (including possibly NUL's)
  132.       starting at location "bytes".
  133.  
  134.       Note that both of these functions create and scan a *copy* of
  135.       the string/bytes.  (This may be desirable, since yylex() modifies
  136.       the contents of the buffer it is scanning.)  You can avoid the
  137.       copy by using:
  138.  
  139.         YY_BUFFER_STATE yy_scan_buffer( char *base, yy_size_t size )
  140.  
  141.       which scans in place the buffer starting at "base", consisting
  142.       of "size" bytes, the last two bytes of which *must* be
  143.       YY_END_OF_BUFFER_CHAR (these bytes are not scanned; thus, scanning
  144.       consists of base[0] through base[size-2], inclusive).  If you
  145.       fail to set up "base" in this manner, yy_scan_buffer returns a
  146.       nil pointer instead of creating a new input buffer.
  147.  
  148.       The type yy_size_t is an integral type to which you can cast
  149.       an integer expression reflecting the size of the buffer.
  150.  
  151.     - Three new routines are available for manipulating stacks of
  152.       start conditions:
  153.  
  154.         void yy_push_state( int new_state )
  155.  
  156.       pushes the current start condition onto the top of the stack
  157.       and BEGIN's "new_state" (recall that start condition names are
  158.       also integers).
  159.  
  160.         void yy_pop_state()
  161.  
  162.       pops the top of the stack and BEGIN's to it, and
  163.  
  164.         int yy_top_state()
  165.  
  166.       returns the top of the stack without altering the stack's
  167.       contents.
  168.  
  169.       The start condition stack grows dynamically and so has no built-in
  170.       size limitation.  If memory is exhausted, program execution
  171.       is aborted.
  172.  
  173.       To use start condition stacks, your scanner must include
  174.       a "%option stack" directive.
  175.  
  176.     - flex now supports POSIX character class expressions.  These
  177.       are expressions enclosed inside "[:" and ":]" delimiters (which
  178.       themselves must appear between the '[' and ']' of a character
  179.       class; other elements may occur inside the character class, too).
  180.       The expressions flex recognizes are:
  181.  
  182.         [:alnum:] [:alpha:] [:blank:] [:cntrl:] [:digit:] [:graph:]    
  183.         [:lower:] [:print:] [:punct:] [:space:] [:upper:] [:xdigit:]
  184.  
  185.       These expressions all designate a set of characters equivalent to
  186.       the corresponding isXXX function (for example, [:alnum:] designates
  187.       those characters for which isalnum() returns true - i.e., any
  188.       alphabetic or numeric).  Some systems don't provide isblank(),
  189.       so flex defines [:blank:] as a blank or a tab.
  190.  
  191.       For example, the following character classes are all equivalent:
  192.  
  193.         [[:alnum:]]
  194.         [[:alpha:][:digit:]
  195.         [[:alpha:]0-9]
  196.         [a-zA-Z0-9]
  197.  
  198.       If your scanner is case-insensitive (-i flag), then [:upper:]
  199.       and [:lower:] are equivalent to [:alpha:].
  200.  
  201.     - The promised rewrite of the C++ FlexLexer class has not yet
  202.       been done.  Support for FlexLexer is limited at the moment to
  203.       fixing show-stopper bugs, so, for example, the new functions
  204.       yy_scan_string() & friends are not available to FlexLexer
  205.       objects.
  206.  
  207.     - The new macro
  208.  
  209.         yy_set_interactive(is_interactive)
  210.  
  211.       can be used to control whether the current buffer is considered
  212.       "interactive".  An interactive buffer is processed more slowly,
  213.       but must be used when the scanner's input source is indeed
  214.       interactive to avoid problems due to waiting to fill buffers
  215.       (see the discussion of the -I flag in flex.1).  A non-zero value
  216.       in the macro invocation marks the buffer as interactive, a zero
  217.       value as non-interactive.  Note that use of this macro overrides
  218.       "%option always-interactive" or "%option never-interactive".
  219.  
  220.       yy_set_interactive() must be invoked prior to beginning to
  221.       scan the buffer.
  222.  
  223.     - The new macro
  224.  
  225.         yy_set_bol(at_bol)
  226.  
  227.       can be used to control whether the current buffer's scanning
  228.       context for the next token match is done as though at the
  229.       beginning of a line (non-zero macro argument; makes '^' anchored
  230.       rules active) or not at the beginning of a line (zero argument,
  231.       '^' rules inactive).
  232.  
  233.     - Related to this change, the mechanism for determining when a scan is
  234.       starting at the beginning of a line has changed.  It used to be
  235.       that '^' was active iff the character prior to that at which the
  236.       scan started was a newline.  The mechanism now is that '^' is
  237.       active iff the last token ended in a newline (or the last call to
  238.       input() returned a newline).  For most users, the difference in
  239.       mechanisms is negligible.  Where it will make a difference,
  240.       however, is if unput() or yyless() is used to alter the input
  241.       stream.  When in doubt, use yy_set_bol().
  242.  
  243.     - The new beginning-of-line mechanism involved changing some fairly
  244.       twisted code, so it may have introduced bugs - beware ...
  245.  
  246.     - The macro YY_AT_BOL() returns true if the next token scanned from
  247.       the current buffer will have '^' rules active, false otherwise.
  248.  
  249.     - The new function
  250.  
  251.         void yy_flush_buffer( struct yy_buffer_state* b )
  252.  
  253.       flushes the contents of the current buffer (i.e., next time
  254.       the scanner attempts to match a token using b as the current
  255.       buffer, it will begin by invoking YY_INPUT to fill the buffer).
  256.       This routine is also available to C++ scanners (unlike some
  257.       of the other new routines).
  258.  
  259.       The related macro
  260.  
  261.         YY_FLUSH_BUFFER
  262.  
  263.       flushes the contents of the current buffer.
  264.  
  265.     - A new "-ooutput" option writes the generated scanner to "output".
  266.       If used with -t, the scanner is still written to stdout, but
  267.       its internal #line directives (see previous item) use "output".
  268.  
  269.     - Flex now generates #line directives relating the code it
  270.       produces to the output file; this means that error messages
  271.       in the flex-generated code should be correctly pinpointed.
  272.  
  273.     - When generating #line directives, filenames with embedded '\'s
  274.       have those characters escaped (i.e., turned into '\\').  This
  275.       feature helps with reporting filenames for some MS-DOS and OS/2
  276.       systems.
  277.  
  278.     - The FlexLexer class includes two new public member functions:
  279.  
  280.         virtual void switch_streams( istream* new_in = 0,
  281.                         ostream* new_out = 0 )
  282.  
  283.       reassigns yyin to new_in (if non-nil) and yyout to new_out
  284.       (ditto), deleting the previous input buffer if yyin is
  285.       reassigned.  It is used by:
  286.  
  287.         int yylex( istream* new_in = 0, ostream* new_out = 0 )
  288.  
  289.       which first calls switch_streams() and then returns the value
  290.       of calling yylex().
  291.  
  292.     - C++ scanners now have yy_flex_debug as a member variable of
  293.       FlexLexer rather than a global, and member functions for testing
  294.       and setting it.
  295.  
  296.     - When generating a C++ scanning class, you can now use
  297.  
  298.         %option yyclass="foo"
  299.  
  300.       to inform flex that you have derived "foo" as a subclass of
  301.       yyFlexLexer, so flex will place your actions in the member
  302.       function foo::yylex() instead of yyFlexLexer::yylex().  It also
  303.       generates a yyFlexLexer::yylex() member function that generates a
  304.       run-time error if called (by invoking yyFlexLexer::LexerError()).
  305.       This feature is necessary if your subclass "foo" introduces some
  306.       additional member functions or variables that you need to access
  307.       from yylex().
  308.  
  309.     - Current texinfo files in MISC/texinfo, contributed by Francois
  310.       Pinard.
  311.  
  312.     - You can now change the name "flex" to something else (e.g., "lex")
  313.       by redefining $(FLEX) in the Makefile.
  314.  
  315.     - Two bugs (one serious) that could cause "bigcheck" to fail have
  316.       been fixed.
  317.  
  318.     - A number of portability/configuration changes have been made
  319.       for easier portability.
  320.  
  321.     - You can use "YYSTATE" in your scanner as an alias for YY_START
  322.       (for AT&T lex compatibility).
  323.  
  324.     - input() now maintains yylineno.
  325.  
  326.     - input() no longer trashes yytext.
  327.  
  328.     - interactive scanners now read characters in YY_INPUT up to a
  329.       newline, a large performance gain.
  330.  
  331.     - C++ scanner objects now work with the -P option.  You include
  332.       <FlexLexer.h> once per scanner - see comments in <FlexLexer.h>
  333.       (or flex.1) for details.
  334.  
  335.     - C++ FlexLexer objects now use the "cerr" stream to report -d output
  336.       instead of stdio.
  337.  
  338.     - The -c flag now has its full glorious POSIX interpretation (do
  339.       nothing), rather than being interpreted as an old-style -C flag.
  340.  
  341.     - Scanners generated by flex now include two #define's giving
  342.       the major and minor version numbers (YY_FLEX_MAJOR_VERSION,
  343.       YY_FLEX_MINOR_VERSION).  These can then be tested to see
  344.       whether certain flex features are available.
  345.  
  346.     - Scanners generated using -l lex compatibility now have the symbol
  347.       YY_FLEX_LEX_COMPAT #define'd.
  348.  
  349.     - When initializing (i.e., yy_init is non-zero on entry to yylex()),
  350.       generated scanners now set yy_init to zero before executing
  351.       YY_USER_INIT.  This means that you can set yy_init back to a
  352.       non-zero value in YY_USER_INIT if you need the scanner to be
  353.       reinitialized on the next call.
  354.  
  355.     - You can now use "#line" directives in the first section of your
  356.       scanner specification.
  357.  
  358.     - When generating full-table scanners (-Cf), flex now puts braces
  359.       around each row of the 2-d array initialization, to silence warnings
  360.       on over-zealous compilers.
  361.  
  362.     - Improved support for MS-DOS.  The flex sources have been successfully
  363.       built, unmodified, for Borland 4.02 (all that's required is a
  364.       Borland Makefile and config.h file, which are supplied in
  365.       MISC/Borland - contributed by Terrence O Kane).
  366.  
  367.     - Improved support for Macintosh using Think C - the sources should
  368.       build for this platform "out of the box".  Contributed by Scott
  369.       Hofmann.
  370.  
  371.     - Improved support for VMS, in MISC/VMS/, contributed by Pat Rankin.
  372.  
  373.     - Support for the Amiga, in MISC/Amiga/, contributed by Andreas
  374.       Scherer.  Note that the contributed files were developed for
  375.       flex 2.4 and have not been tested with flex 2.5.
  376.  
  377.     - Some notes on support for the NeXT, in MISC/NeXT, contributed
  378.       by Raf Schietekat.
  379.  
  380.     - The MISC/ directory now includes a preformatted version of flex.1
  381.       in flex.man, and pre-yacc'd versions of parse.y in parse.{c,h}.
  382.  
  383.     - The flex.1 and flexdoc.1 manual pages have been merged.  There
  384.       is now just one document, flex.1, which includes an overview
  385.       at the beginning to help you find the section you need.
  386.  
  387.     - Documentation now clarifies that start conditions persist across
  388.       switches to new input files or different input buffers.  If you
  389.       want to e.g., return to INITIAL, you must explicitly do so.
  390.  
  391.     - The "Performance Considerations" section of the manual has been
  392.       updated.
  393.  
  394.     - Documented the "yy_act" variable, which when YY_USER_ACTION is
  395.       invoked holds the number of the matched rule, and added an
  396.       example of using yy_act to profile how often each rule is matched.
  397.  
  398.     - Added YY_NUM_RULES, a definition that gives the total number
  399.       of rules in the file, including the default rule (even if you
  400.       use -s).
  401.  
  402.     - Documentation now clarifies that you can pass a nil FILE* pointer
  403.       to yy_create_buffer() or yyrestart() if you've arrange YY_INPUT
  404.       to not need yyin.
  405.  
  406.     - Documentation now clarifies that YY_BUFFER_STATE is a pointer to
  407.       an opaque "struct yy_buffer_state".
  408.  
  409.     - Documentation now stresses that you gain the benefits of removing
  410.       backing-up states only if you remove *all* of them.
  411.  
  412.     - Documentation now points out that traditional lex allows you
  413.       to put the action on a separate line from the rule pattern if
  414.       the pattern has trailing whitespace (ugh!), but flex doesn't
  415.       support this.
  416.  
  417.     - A broken example in documentation of the difference between
  418.       inclusive and exclusive start conditions is now fixed.
  419.  
  420.     - Usage (-h) report now goes to stdout.
  421.  
  422.     - Version (-V) info now goes to stdout.
  423.  
  424.     - More #ifdef chud has been added to the parser in attempt to
  425.       deal with bison's use of alloca().
  426.  
  427.     - "make clean" no longer deletes emacs backup files (*~).
  428.  
  429.     - Some memory leaks have been fixed.
  430.  
  431.     - A bug was fixed in which dynamically-expanded buffers were
  432.       reallocated a couple of bytes too small.
  433.  
  434.     - A bug was fixed which could cause flex to read and write beyond
  435.       the end of the input buffer.
  436.  
  437.     - -S will not be going away.
  438.  
  439.  
  440. Changes between release 2.4.7 (03Aug94) and release 2.4.6:
  441.  
  442.     - Fixed serious bug in reading multiple files.
  443.  
  444.     - Fixed bug in scanning NUL's.
  445.  
  446.     - Fixed bug in input() returning 8-bit characters.
  447.  
  448.     - Fixed bug in matching text with embedded NUL's when
  449.       using %array or lex compatibility.
  450.  
  451.     - Fixed multiple invocations of YY_USER_ACTION when using '|'
  452.       continuation action.
  453.  
  454.     - Minor prototyping fixes.
  455.  
  456. Changes between release 2.4.6 (04Jan94) and release 2.4.5:
  457.  
  458.     - Linking with -lfl no longer required if your program includes
  459.       its own yywrap() and main() functions.  (This change will cause
  460.       problems if you have a non-ANSI compiler on a system for which
  461.       sizeof(int) != sizeof(void*) or sizeof(int) != sizeof(size_t).)
  462.  
  463.     - The use of 'extern "C++"' in FlexLexer.h has been modified to
  464.       get around an incompatibility with g++'s header files.
  465.  
  466. Changes between release 2.4.5 (11Dec93) and release 2.4.4:
  467.  
  468.     - Fixed bug breaking C++ scanners that use REJECT or variable
  469.       trailing context.
  470.  
  471.     - Fixed serious input problem for interactive scanners on
  472.       systems for which char is unsigned.
  473.  
  474.     - Fixed bug in incorrectly treating '$' operator as variable
  475.       trailing context.
  476.  
  477.     - Fixed bug in -CF table representation that could lead to
  478.       corrupt tables.
  479.  
  480.     - Fixed fairly benign memory leak.
  481.  
  482.     - Added `extern "C++"' wrapper to FlexLexer.h header.  This
  483.       should overcome the g++ 2.5.X problems mentioned in the
  484.       NEWS for release 2.4.3.
  485.  
  486.     - Changed #include of FlexLexer.h to use <> instead of "".
  487.  
  488.     - Added feature to control whether the scanner attempts to
  489.       refill the input buffer once it's exhausted.  This feature
  490.       will be documented in the 2.5 release.
  491.  
  492.  
  493. Changes between release 2.4.4 (07Dec93) and release 2.4.3:
  494.  
  495.     - Fixed two serious bugs in scanning 8-bit characters.
  496.  
  497.     - Fixed bug in YY_USER_ACTION that caused it to be executed
  498.       inappropriately (on the scanner's own internal actions, and
  499.       with incorrect yytext/yyleng values).
  500.  
  501.     - Fixed bug in pointing yyin at a new file and resuming scanning.
  502.  
  503.     - Portability fix regarding min/max/abs macros conflicting with
  504.       function definitions in standard header files.
  505.  
  506.     - Added a virtual LexerError() method to the C++ yyFlexLexer class
  507.       for reporting error messages instead of always using cerr.
  508.  
  509.     - Added warning in flexdoc that the C++ scanning class is presently
  510.       experimental and subject to considerable change between major
  511.       releases.
  512.  
  513.  
  514. Changes between release 2.4.3 (03Dec93) and release 2.4.2:
  515.  
  516.     - Fixed bug causing fatal scanner messages to fail to print.
  517.  
  518.     - Fixed things so FlexLexer.h can be included in other C++
  519.       sources.  One side-effect of this change is that -+ and -CF
  520.       are now incompatible.
  521.  
  522.     - libfl.a now supplies private versions of the the <string.h>/
  523.       <strings.h> string routines needed by flex and the scanners
  524.       it generates, to enhance portability to some BSD systems.
  525.  
  526.     - More robust solution to 2.4.2's flexfatal() bug fix.
  527.  
  528.     - Added ranlib of installed libfl.a.
  529.  
  530.     - Some lint tweaks.
  531.  
  532.     - NOTE: problems have been encountered attempting to build flex
  533.       C++ scanners using g++ version 2.5.X.  The problem is due to an
  534.       unfortunate heuristic in g++ 2.5.X that attempts to discern between
  535.       C and C++ headers.  Because FlexLexer.h is installed (by default)
  536.       in /usr/local/include and not /usr/local/lib/g++-include, g++ 2.5.X
  537.       decides that it's a C header :-(.  So if you have problems, install
  538.       the header in /usr/local/lib/g++-include instead.
  539.  
  540.  
  541. Changes between release 2.4.2 (01Dec93) and release 2.4.1:
  542.  
  543.     - Fixed bug in libfl.a referring to non-existent "flexfatal" function.
  544.  
  545.     - Modified to produce both compress'd and gzip'd tar files for
  546.       distributions (you probably don't care about this change!).
  547.  
  548.  
  549. Changes between release 2.4.1 (30Nov93) and release 2.3.8:
  550.  
  551.     - The new '-+' flag instructs flex to generate a C++ scanner class
  552.       (thanks to Kent Williams).  flex writes an implementation of the
  553.       class defined in FlexLexer.h to lex.yy.cc.  You may include
  554.       multiple scanner classes in your program using the -P flag.  Note
  555.       that the scanner class also provides a mechanism for creating
  556.       reentrant scanners.  The scanner class uses C++ streams for I/O
  557.       instead of FILE*'s (thanks to Tom Epperly).  If the flex executable's
  558.       name ends in '+' then the '-+' flag is automatically on, so creating
  559.       a symlink or copy of "flex" to "flex++" results in a version of
  560.       flex that can be used exclusively for C++ scanners.
  561.  
  562.       Note that without the '-+' flag, flex-generated scanners can still
  563.       be compiled using C++ compilers, though they use FILE*'s for I/O
  564.       instead of streams.
  565.  
  566.       See the "GENERATING C++ SCANNERS" section of flexdoc for details.
  567.  
  568.     - The new '-l' flag turns on maximum AT&T lex compatibility.  In
  569.       particular, -l includes support for "yylineno" and makes yytext
  570.       be an array instead of a pointer.  It does not, however, do away
  571.       with all incompatibilities.  See the "INCOMPATIBILITIES WITH LEX
  572.       AND POSIX" section of flexdoc for details.
  573.  
  574.     - The new '-P' option specifies a prefix to use other than "yy"
  575.       for the scanner's globally-visible variables, and for the
  576.       "lex.yy.c" filename.  Using -P you can link together multiple
  577.       flex scanners in the same executable.
  578.  
  579.     - The distribution includes a "texinfo" version of flexdoc.1,
  580.       contributed by Roland Pesch (thanks also to Marq Kole, who
  581.       contributed another version).  It has not been brought up to
  582.       date, but reflects version 2.3.  See MISC/flex.texinfo.
  583.  
  584.       The flex distribution will soon include G.T. Nicol's flex
  585.       manual; he is presently bringing it up-to-date for version 2.4.
  586.  
  587.     - yywrap() is now a function, and you now *must* link flex scanners
  588.       with libfl.a.
  589.  
  590.     - Site-configuration is now done via an autoconf-generated
  591.       "configure" script contributed by Francois Pinard.
  592.  
  593.     - Scanners now use fread() (or getc(), if interactive) and not
  594.       read() for input.  A new "table compression" option, -Cr,
  595.       overrides this change and causes the scanner to use read()
  596.       (because read() is a bit faster than fread()).  -f and -F
  597.       are now equivalent to -Cfr and -CFr; i.e., they imply the
  598.       -Cr option.
  599.  
  600.     - In the blessed name of POSIX compliance, flex supports "%array"
  601.       and "%pointer" directives in the definitions (first) section of
  602.       the scanner specification.  The former specifies that yytext
  603.       should be an array (of size YYLMAX), the latter, that it should
  604.       be a pointer.  The array version of yytext is universally slower
  605.       than the pointer version, but has the advantage that its contents
  606.       remain unmodified across calls to input() and unput() (the pointer
  607.       version of yytext is, still, trashed by such calls).
  608.  
  609.       "%array" cannot be used with the '-+' C++ scanner class option.
  610.  
  611.     - The new '-Ca' option directs flex to trade off memory for
  612.       natural alignment when generating a scanner's tables.  In
  613.       particular, table entries that would otherwise be "short"
  614.       become "long".
  615.  
  616.     - The new '-h' option produces a summary of the flex flags.
  617.  
  618.     - The new '-V' option reports the flex version number and exits.
  619.  
  620.     - The new scanner macro YY_START returns an integer value
  621.       corresponding to the current start condition.  You can return
  622.       to that start condition by passing the value to a subsequent
  623.       "BEGIN" action.  You also can implement "start condition stacks"
  624.       by storing the values in an integer stack.
  625.  
  626.     - You can now redefine macros such as YY_INPUT by just #define'ing
  627.       them to some other value in the first section of the flex input;
  628.       no need to first #undef them.
  629.  
  630.     - flex now generates warnings for rules that can't be matched.
  631.       These warnings can be turned off using the new '-w' flag.  If
  632.       your scanner uses REJECT then you will not get these warnings.
  633.  
  634.     - If you specify the '-s' flag but the default rule can be matched,
  635.       flex now generates a warning.
  636.  
  637.     - "yyleng" is now a global, and may be modified by the user (though
  638.       doing so and then using yymore() will yield weird results).
  639.  
  640.     - Name definitions in the first section of a scanner specification
  641.       can now include a leading '^' or trailing '$' operator.  In this
  642.       case, the definition is *not* pushed back inside of parentheses.
  643.  
  644.     - Scanners with compressed tables are now "interactive" (-I option)
  645.       by default.  You can suppress this attribute (which makes them
  646.       run slightly slower) using the new '-B' flag.
  647.  
  648.     - Flex now generates 8-bit scanners by default, unless you use the
  649.       -Cf or -CF compression options (-Cfe  and -CFe result in 8-bit
  650.       scanners).  You can force it to generate a 7-bit scanner using
  651.       the new '-7' flag.  You can build flex to generate 8-bit scanners
  652.       for -Cf and -CF, too, by adding -DDEFAULT_CSIZE=256 to CFLAGS
  653.       in the Makefile.
  654.  
  655.     - You no longer need to call the scanner routine yyrestart() to
  656.       inform the scanner that you have switched to a new file after
  657.       having seen an EOF on the current input file.  Instead, just
  658.       point yyin at the new file and continue scanning.
  659.  
  660.     - You no longer need to invoke YY_NEW_FILE in an <<EOF>> action
  661.       to indicate you wish to continue scanning.  Simply point yyin
  662.       at a new file.
  663.  
  664.     - A leading '#' no longer introduces a comment in a flex input.
  665.  
  666.     - flex no longer considers formfeed ('\f') a whitespace character.
  667.  
  668.     - %t, I'm happy to report, has been nuked.
  669.  
  670.     - The '-p' option may be given twice ('-pp') to instruct flex to
  671.       report minor performance problems as well as major ones.
  672.  
  673.     - The '-v' verbose output no longer includes start/finish time
  674.       information.
  675.  
  676.     - Newlines in flex inputs can optionally include leading or
  677.       trailing carriage-returns ('\r'), in support of several PC/Mac
  678.       run-time libraries that automatically include these.
  679.  
  680.     - A start condition of the form "<*>" makes the following rule
  681.       active in every start condition, whether exclusive or inclusive.
  682.  
  683.     - The following items have been corrected in the flex documentation:
  684.  
  685.         - '-C' table compression options *are* cumulative.
  686.  
  687.         - You may modify yytext but not lengthen it by appending
  688.           characters to the end.  Modifying its final character
  689.           will affect '^' anchoring for the next rule matched
  690.           if the character is changed to or from a newline.
  691.  
  692.         - The term "backtracking" has been renamed "backing up",
  693.           since it is a one-time repositioning and not a repeated
  694.           search.  What used to be the "lex.backtrack" file is now
  695.           "lex.backup".
  696.  
  697.         - Unindented "/* ... */" comments are allowed in the first
  698.           flex input section, but not in the second.
  699.  
  700.         - yyless() can only be used in the flex input source, not
  701.           externally.
  702.  
  703.         - You can use "yyrestart(yyin)" to throw away the
  704.           current contents of the input buffer.
  705.  
  706.         - To write high-speed scanners, attempt to match as much
  707.           text as possible with each rule.  See MISC/fastwc/README
  708.           for more information.
  709.  
  710.         - Using the beginning-of-line operator ('^') is fairly
  711.           cheap.  Using unput() is expensive.  Using yyless() is
  712.           cheap.
  713.  
  714.         - An example of scanning strings with embedded escape
  715.           sequences has been added.
  716.  
  717.         - The example of backing-up in flexdoc was erroneous; it
  718.           has been corrected.
  719.  
  720.     - A flex scanner's internal buffer now dynamically grows if needed
  721.       to match large tokens.  Note that growing the buffer presently
  722.       requires rescanning the (large) token, so consuming a lot of
  723.       text this way is a slow process.  Also note that presently the
  724.       buffer does *not* grow if you unput() more text than can fit
  725.       into the buffer.
  726.  
  727.     - The MISC/ directory has been reorganized; see MISC/README for
  728.       details.
  729.  
  730.     - yyless() can now be used in the third (user action) section
  731.       of a scanner specification, thanks to Ceriel Jacobs.  yyless()
  732.       remains a macro and cannot be used outside of the scanner source.
  733.  
  734.     - The skeleton file is no longer opened at run-time, but instead
  735.       compiled into a large string array (thanks to John Gilmore and
  736.       friends at Cygnus).  You can still use the -S flag to point flex
  737.       at a different skeleton file.
  738.  
  739.     - flex no longer uses a temporary file to store the scanner's
  740.       actions.
  741.  
  742.     - A number of changes have been made to decrease porting headaches.
  743.       In particular, flex no longer uses memset() or ctime(), and
  744.       provides a single simple mechanism for dealing with C compilers
  745.       that still define malloc() as returning char* instead of void*.
  746.  
  747.     - Flex now detects if the scanner specification requires the -8 flag
  748.       but the flag was not given or on by default.
  749.  
  750.     - A number of table-expansion fencepost bugs have been fixed,
  751.       making flex more robust for generating large scanners.
  752.  
  753.     - flex more consistently identifies the location of errors in
  754.       its input.
  755.  
  756.     - YY_USER_ACTION is now invoked only for "real" actions, not for
  757.       internal actions used by the scanner for things like filling
  758.       the buffer or handling EOF.
  759.  
  760.     - The rule "[^]]" now matches any character other than a ']';
  761.       formerly it matched any character at all followed by a ']'.
  762.       This change was made for compatibility with AT&T lex.
  763.  
  764.     - A large number of miscellaneous bugs have been found and fixed
  765.       thanks to Gerhard Wilhelms.
  766.  
  767.     - The source code has been heavily reformatted, making patches
  768.       relative to previous flex releases no longer accurate.
  769.  
  770.  
  771. Changes between 2.3 Patch #8 (21Feb93) and 2.3 Patch #7:
  772.  
  773.     - Fixed bugs in dynamic memory allocation leading to grievous
  774.       fencepost problems when generating large scanners.
  775.     - Fixed bug causing infinite loops on character classes with 8-bit
  776.       characters in them.
  777.     - Fixed bug in matching repetitions with a lower bound of 0.
  778.     - Fixed bug in scanning NUL characters using an "interactive" scanner.
  779.     - Fixed bug in using yymore() at the end of a file.
  780.     - Fixed bug in misrecognizing rules with variable trailing context.
  781.     - Fixed bug compiling flex on Suns using gcc 2.
  782.     - Fixed bug in not recognizing that input files with the character
  783.       ASCII 128 in them require the -8 flag.
  784.     - Fixed bug that could cause an infinite loop writing out
  785.       error messages.
  786.     - Fixed bug in not recognizing old-style lex % declarations if
  787.       followed by a tab instead of a space.
  788.     - Fixed potential crash when flex terminated early (usually due
  789.       to a bad flag) and the -v flag had been given.
  790.     - Added some missing declarations of void functions.
  791.     - Changed to only use '\a' for __STDC__ compilers.
  792.     - Updated mailing addresses.
  793.  
  794.  
  795. Changes between 2.3 Patch #7 (28Mar91) and 2.3 Patch #6:
  796.  
  797.     - Fixed out-of-bounds array access that caused bad tables
  798.       to be produced on machines where the bad reference happened
  799.       to yield a 1.  This caused problems installing or running
  800.       flex on some Suns, in particular.
  801.  
  802.  
  803. Changes between 2.3 Patch #6 (29Aug90) and 2.3 Patch #5:
  804.  
  805.     - Fixed a serious bug in yymore() which basically made it
  806.       completely broken.  Thanks goes to Jean Christophe of
  807.       the Nethack development team for finding the problem
  808.       and passing along the fix.
  809.  
  810.  
  811. Changes between 2.3 Patch #5 (16Aug90) and 2.3 Patch #4:
  812.  
  813.     - An up-to-date version of initscan.c so "make test" will
  814.       work after applying the previous patches
  815.  
  816.  
  817. Changes between 2.3 Patch #4 (14Aug90) and 2.3 Patch #3:
  818.  
  819.     - Fixed bug in hexadecimal escapes which allowed only digits,
  820.       not letters, in escapes
  821.     - Fixed bug in previous "Changes" file!
  822.  
  823.  
  824. Changes between 2.3 Patch #3 (03Aug90) and 2.3 Patch #2:
  825.  
  826.     - Correction to patch #2 for gcc compilation; thanks goes to
  827.       Paul Eggert for catching this.
  828.  
  829.  
  830. Changes between 2.3 Patch #2 (02Aug90) and original 2.3 release:
  831.  
  832.     - Fixed (hopefully) headaches involving declaring malloc()
  833.       and free() for gcc, which defines __STDC__ but (often) doesn't
  834.       come with the standard include files such as <stdlib.h>.
  835.       Reordered #ifdef maze in the scanner skeleton in the hope of
  836.       getting the declarations right for cfront and g++, too.
  837.  
  838.     - Note that this patch supercedes patch #1 for release 2.3,
  839.       which was never announced but was available briefly for
  840.       anonymous ftp.
  841.  
  842.  
  843. Changes between 2.3 (full) release of 28Jun90 and 2.2 (alpha) release:
  844.  
  845.     User-visible:
  846.  
  847.     - A lone <<EOF>> rule (that is, one which is not qualified with
  848.       a list of start conditions) now specifies the EOF action for
  849.       *all* start conditions which haven't already had <<EOF>> actions
  850.       given.  To specify an end-of-file action for just the initial
  851.       state, use <INITIAL><<EOF>>.
  852.  
  853.     - -d debug output is now contigent on the global yy_flex_debug
  854.       being set to a non-zero value, which it is by default.
  855.  
  856.     - A new macro, YY_USER_INIT, is provided for the user to specify
  857.       initialization action to be taken on the first call to the
  858.       scanner.  This action is done before the scanner does its
  859.       own initialization.
  860.  
  861.     - yy_new_buffer() has been added as an alias for yy_create_buffer()
  862.  
  863.     - Comments beginning with '#' and extending to the end of the line
  864.       now work, but have been deprecated (in anticipation of making
  865.       flex recognize #line directives).
  866.  
  867.     - The funky restrictions on when semi-colons could follow the
  868.       YY_NEW_FILE and yyless macros have been removed.  They now
  869.       behave identically to functions.
  870.  
  871.     - A bug in the sample redefinition of YY_INPUT in the documentation
  872.       has been corrected.
  873.  
  874.     - A bug in the sample simple tokener in the documentation has
  875.       been corrected.
  876.  
  877.     - The documentation on the incompatibilities between flex and
  878.       lex has been reordered so that the discussion of yylineno
  879.       and input() come first, as it's anticipated that these will
  880.       be the most common source of headaches.
  881.  
  882.  
  883.     Things which didn't used to be documented but now are:
  884.  
  885.     - flex interprets "^foo|bar" differently from lex.  flex interprets
  886.       it as "match either a 'foo' or a 'bar', providing it comes at the
  887.       beginning of a line", whereas lex interprets it as "match either
  888.       a 'foo' at the beginning of a line, or a 'bar' anywhere".
  889.  
  890.     - flex initializes the global "yyin" on the first call to the
  891.       scanner, while lex initializes it at compile-time.
  892.  
  893.     - yy_switch_to_buffer() can be used in the yywrap() macro/routine.
  894.  
  895.     - flex scanners do not use stdio for their input, and hence when
  896.       writing an interactive scanner one must explictly call fflush()
  897.       after writing out a prompt.
  898.  
  899.     - flex scanner can be made reentrant (after a fashion) by using
  900.       "yyrestart( yyin );".  This is useful for interactive scanners
  901.       which have interrupt handlers that long-jump out of the scanner.
  902.  
  903.     - a defense of why yylineno is not supported is included, along
  904.       with a suggestion on how to convert scanners which rely on it.
  905.  
  906.  
  907.     Other changes:
  908.  
  909.     - Prototypes and proper declarations of void routines have
  910.       been added to the flex source code, courtesy of Kevin B. Kenny.
  911.  
  912.     - Routines dealing with memory allocation now use void* pointers
  913.       instead of char* - see Makefile for porting implications.
  914.  
  915.     - Error-checking is now done when flex closes a file.
  916.  
  917.     - Various lint tweaks were added to reduce the number of gripes.
  918.  
  919.     - Makefile has been further parameterized to aid in porting.
  920.  
  921.     - Support for SCO Unix added.
  922.  
  923.     - Flex now sports the latest & greatest UC copyright notice
  924.       (which is only slightly different from the previous one).
  925.  
  926.     - A note has been added to flexdoc.1 mentioning work in progress
  927.       on modifying flex to generate straight C code rather than a
  928.       table-driven automaton, with an email address of whom to contact
  929.       if you are working along similar lines.
  930.  
  931.  
  932. Changes between 2.2 Patch #3 (30Mar90) and 2.2 Patch #2:
  933.  
  934.     - fixed bug which caused -I scanners to bomb
  935.  
  936.  
  937. Changes between 2.2 Patch #2 (27Mar90) and 2.2 Patch #1:
  938.  
  939.     - fixed bug writing past end of input buffer in yyunput()
  940.     - fixed bug detecting NUL's at the end of a buffer
  941.  
  942.  
  943. Changes between 2.2 Patch #1 (23Mar90) and 2.2 (alpha) release:
  944.  
  945.     - Makefile fixes: definition of MAKE variable for systems
  946.       which don't have it; installation of flexdoc.1 along with
  947.       flex.1; fixed two bugs which could cause "bigtest" to fail.
  948.  
  949.     - flex.skel fix for compiling with g++.
  950.  
  951.     - README and flexdoc.1 no longer list an out-of-date BITNET address
  952.       for contacting me.
  953.  
  954.     - minor typos and formatting changes to flex.1 and flexdoc.1.
  955.  
  956.  
  957. Changes between 2.2 (alpha) release of March '90 and previous release:
  958.  
  959.     User-visible:
  960.  
  961.     - Full user documentation now available.
  962.  
  963.     - Support for 8-bit scanners.
  964.  
  965.     - Scanners now accept NUL's.
  966.  
  967.     - A facility has been added for dealing with multiple
  968.       input buffers.
  969.  
  970.     - Two manual entries now.  One which fully describes flex
  971.       (rather than just its differences from lex), and the
  972.       other for quick(er) reference.
  973.  
  974.     - A number of changes to bring flex closer into compliance
  975.       with the latest POSIX lex draft:
  976.  
  977.         %t support
  978.         flex now accepts multiple input files and concatenates
  979.             them together to form its input
  980.         previous -c (compress) flag renamed -C
  981.         do-nothing -c and -n flags added
  982.         Any indented code or code within %{}'s in section 2 is
  983.             now copied to the output
  984.  
  985.     - yyleng is now a bona fide global integer.
  986.  
  987.     - -d debug information now gives the line number of the
  988.       matched rule instead of which number rule it was from
  989.       the beginning of the file.
  990.  
  991.     - -v output now includes a summary of the flags used to generate
  992.       the scanner.
  993.  
  994.     - unput() and yyrestart() are now globally callable.
  995.  
  996.     - yyrestart() no longer closes the previous value of yyin.
  997.  
  998.     - C++ support; generated scanners can be compiled with C++ compiler.
  999.  
  1000.     - Primitive -lfl library added, containing default main()
  1001.       which calls yylex().  A number of routines currently living
  1002.       in the scanner skeleton will probably migrate to here
  1003.       in the future (in particular, yywrap() will probably cease
  1004.       to be a macro and instead be a function in the -lfl library).
  1005.  
  1006.     - Hexadecimal (\x) escape sequences added.
  1007.  
  1008.     - Support for MS-DOS, VMS, and Turbo-C integrated.
  1009.  
  1010.     - The %used/%unused operators have been deprecated.  They
  1011.       may go away soon.
  1012.  
  1013.  
  1014.     Other changes:
  1015.  
  1016.     - Makefile enhanced for easier testing and installation.
  1017.     - The parser has been tweaked to detect some erroneous
  1018.       constructions which previously were missed.
  1019.     - Scanner input buffer overflow is now detected.
  1020.     - Bugs with missing "const" declarations fixed.
  1021.     - Out-of-date Minix/Atari patches provided.
  1022.     - Scanners no longer require printf() unless FLEX_DEBUG is being used.
  1023.     - A subtle input() bug has been fixed.
  1024.     - Line numbers for "continued action" rules (those following
  1025.       the special '|' action) are now correct.
  1026.     - unput() bug fixed; had been causing problems porting flex to VMS.
  1027.     - yymore() handling rewritten to fix bug with interaction
  1028.       between yymore() and trailing context.
  1029.     - EOF in actions now generates an error message.
  1030.     - Bug involving -CFe and generating equivalence classes fixed.
  1031.     - Bug which made -CF be treated as -Cf fixed.
  1032.     - Support for SysV tmpnam() added.
  1033.     - Unused #define's for scanner no longer generated.
  1034.     - Error messages which are associated with a particular input
  1035.       line are now all identified with their input line in standard
  1036.       format.
  1037.     - % directives which are valid to lex but not to flex are
  1038.       now ignored instead of generating warnings.
  1039.     - -DSYS_V flag can now also be specified -DUSG for System V
  1040.       compilation.
  1041.  
  1042.  
  1043. Changes between 2.1 beta-test release of June '89 and previous release:
  1044.  
  1045.     User-visible:
  1046.  
  1047.     - -p flag generates a performance report to stderr.  The report
  1048.       consists of comments regarding features of the scanner rules
  1049.       which result in slower scanners.
  1050.  
  1051.     - -b flag generates backtracking information to lex.backtrack.
  1052.       This is a list of scanner states which require backtracking
  1053.       and the characters on which they do so.  By adding rules
  1054.       one can remove backtracking states.  If all backtracking states
  1055.       are eliminated, the generated scanner will run faster.
  1056.       Backtracking is not yet documented in the manual entry.
  1057.  
  1058.     - Variable trailing context now works, i.e., one can have
  1059.       rules like "(foo)*/[ \t]*bletch".  Some trailing context
  1060.       patterns still cannot be properly matched and generate
  1061.       error messages.  These are patterns where the ending of the
  1062.       first part of the rule matches the beginning of the second
  1063.       part, such as "zx*/xy*", where the 'x*' matches the 'x' at
  1064.       the beginning of the trailing context.  Lex won't get these
  1065.       patterns right either.
  1066.  
  1067.     - Faster scanners.
  1068.  
  1069.     - End-of-file rules.  The special rule "<<EOF>>" indicates
  1070.       actions which are to be taken when an end-of-file is
  1071.       encountered and yywrap() returns non-zero (i.e., indicates
  1072.       no further files to process).  See manual entry for example.
  1073.  
  1074.     - The -r (reject used) flag is gone.  flex now scans the input
  1075.       for occurrences of the string "REJECT" to determine if the
  1076.       action is needed.  It tries to be intelligent about this but
  1077.       can be fooled.  One can force the presence or absence of
  1078.       REJECT by adding a line in the first section of the form
  1079.       "%used REJECT" or "%unused REJECT".
  1080.  
  1081.     - yymore() has been implemented.  Similarly to REJECT, flex
  1082.       detects the use of yymore(), which can be overridden using
  1083.       "%used" or "%unused".
  1084.  
  1085.     - Patterns like "x{0,3}" now work (i.e., with lower-limit == 0).
  1086.  
  1087.     - Removed '\^x' for ctrl-x misfeature.
  1088.  
  1089.     - Added '\a' and '\v' escape sequences.
  1090.  
  1091.     - \<digits> now works for octal escape sequences; previously
  1092.       \0<digits> was required.
  1093.  
  1094.     - Better error reporting; line numbers are associated with rules.
  1095.  
  1096.     - yyleng is a macro; it cannot be accessed outside of the
  1097.       scanner source file.
  1098.  
  1099.     - yytext and yyleng should not be modified within a flex action.
  1100.  
  1101.     - Generated scanners #define the name FLEX_SCANNER.
  1102.  
  1103.     - Rules are internally separated by YY_BREAK in lex.yy.c rather
  1104.       than break, to allow redefinition.
  1105.  
  1106.     - The macro YY_USER_ACTION can be redefined to provide an action
  1107.       which is always executed prior to the matched rule's action.
  1108.     
  1109.     - yyrestart() is a new action which can be used to restart
  1110.       the scanner after it has seen an end-of-file (a "real" one,
  1111.       that is, one for which yywrap() returned non-zero).  It takes
  1112.       a FILE* argument indicating a new file to scan and sets
  1113.       things up so that a subsequent call to yylex() will start
  1114.       scanning that file.
  1115.  
  1116.     - Internal scanner names all preceded by "yy_"
  1117.  
  1118.     - lex.yy.c is deleted if errors are encountered during processing.
  1119.  
  1120.     - Comments may be put in the first section of the input by preceding
  1121.       them with '#'.
  1122.  
  1123.  
  1124.  
  1125.     Other changes:
  1126.  
  1127.     - Some portability-related bugs fixed, in particular for machines
  1128.       with unsigned characters or sizeof( int* ) != sizeof( int ).
  1129.       Also, tweaks for VMS and Microsoft C (MS-DOS), and identifiers all
  1130.       trimmed to be 31 or fewer characters.  Shortened file names
  1131.       for dinosaur OS's.  Checks for allocating > 64K memory
  1132.       on 16 bit'ers.  Amiga tweaks.  Compiles using gcc on a Sun-3.
  1133.     - Compressed and fast scanner skeletons merged.
  1134.     - Skeleton header files done away with.
  1135.     - Generated scanner uses prototypes and "const" for __STDC__.
  1136.     - -DSV flag is now -DSYS_V for System V compilation.
  1137.     - Removed all references to FTL language.
  1138.     - Software now covered by BSD Copyright.
  1139.     - flex will replace lex in subsequent BSD releases.
  1140.